Validation of the Objective Structured Assessment of Technical Skill in Brasil

SUMMARY BACKGROUND The aim of this study was to perform a cross-cultural adaptation of the Objective Structured Assessment of Technical Skill (OSATS) tool into Brazilian Portuguese and to determine its reproducibility and validity in Brasil. METHODS A Brazilian Portuguese version of OSATS was created through a process of translation, back-translation, expert panel evaluation, pilot testing, and then its validation. For the construct and the concurrent validities, twelve participants were divided into a group of six experts and six novices, who had to perform tasks on a simulation model using human placentas. Each participant was filmed, and two blinded raters would then evaluate their performance using the traditional subjective method and then the Brazilian Portuguese version of OSATS. RESULTS The Brazilian Portuguese version of OSATS had the face, content, construct, and concurrent validities achieved. The average experts' score and standard deviations were 34 and 0.894, respectively, for Judge 1 and 34.33 and 0.816 for Judge 2. In the case of novices, it was 13.33 and 2.388 for Judge 1 and 13.33 and 3.204 for Judge 2. The concordance between the judges was evident, with the Correlation Coefficient (Pearson) of 0.9944 with CI 95% between 0.9797 and 0.9985, with p < 10-10, evidencing the excellent reproducibility of the instrument. CONCLUSION This preliminary study suggests that the Brazilian Portuguese version of OSATS can reliably and validly assess surgical skills in Brasil.

RESUMO OBJETIVOS Objetivou-se com este trabalho adaptar transculturalmente o instrumento Objective Structured Assessment of Technical Skill (Osats) para o português-brasileiro e validá-lo no Brasil. MÉTODOS Uma versão em português-brasileiro do Osats foi criada por meio de um processo de tradução, retrotradução, versão consensual por um comitê de especialistas e pré-teste, seguido da etapa de validação. Para validades de constructo e concorrente, foram recrutados 12 participantes da Universidade Federal de Minas Gerais, divididos em um grupo de seis especialistas e um grupo de seis novatos, que tiveram de realizar tarefas em modelos de simulação utilizando placentas humanas. Cada participante foi filmado em anonimato e dois examinadores avaliaram os seus desempenhos usando o método tradicional subjetivo e depois a versão em português-brasileiro do Osats. RESULTADOS A versão em português-brasileiro do Osats alcançou as validades de face, de conteúdo, de constructo e concorrente. A média e o desvio padrão das pontuações atribuídas aos especialistas foram, respectivamente, 34 e 0,894, para o Juiz 1 e 34,33 e 0,816 para o Juiz 2. No caso dos novatos, foram 13,33 e 2,338 para o Juiz 1 e 13,33 e 3,204 para o Juiz 2. O Coeficiente de Correlação (de Pearson) entre os dois juízes foi de 0,9944 com IC 95% entre 0,9797 e 0,9985, com p<10-10, evidenciando a excelente reprodutibilidade do instrumento. CONCLUSÃO A versão em português-brasileiro do Osats manteve-se equivalente ao instrumento original e foi validada. Assim, pode ser usada para avaliar a performance operatória dos residentes em cirurgia no Brasil.

Development of laparoscopic skills in Medical students naive to surgical training / Desenvolvimento de habilidades laparoscópicas em estudantes de Medicina sem exposição prévia a treinamento cirúrgico

Objective To assess the acquisition of basic laparoscopic skills of Medical students trained on a surgical simulator. Methods First- and second-year Medical students participated on a laparoscopic training program on simulators. None of the students had previous classes of surgical technique, exposure to surgical practice nor training prior to the enrollment in to the study. Students´ time were collected before and after the 150-minute training. Skill acquisition was measured comparing time and scores of students and senior instructors of laparoscopic surgery Results Sixty-eight students participated of the study, with a mean age of 20.4 years, with a predominance of first-year students (62%). All students improved performance in score and time, after training (p<0,001). Score improvement in the exercises ranged from 294.1 to 823%. Univariate and multivariate analyses identified that second-year Medical students have achieved higher performance after training. Conclusions Medical students who had never been exposed to surgical techniques can acquire basic laparoscopic skills after training in simulators. Second-year undergraduates had better performance than first-year students. .

Objetivo Avaliar o aprendizado de habilidades laparoscópicas básicas em estudantes de Medicina submetidos a treinamento em um simulador. Métodos Estudantes de Medicina do primeiro e segundo ano participaram de um treinamento de exercícios de laparoscopia em simuladores. Nenhum estudante havia cursado a disciplina de técnica operatória ou teve exposição prévia a cirurgias ou treinamento cirúrgico. Os mesmos tiveram seu tempo coletado antes e após treinamento de 150 minutos. A aquisição de habilidade foi medida comparando tempo e pontuações dos alunos em relação a cirurgiões instrutores em cirurgia laparoscópica. Resultados O trabalho teve a participação de 68 alunos, com média de idade de 20,4 anos. Houve predomínio de alunos do primeiro ano (62%). Na comparação pré e pós-treino, todos os alunos obtiveram melhora de desempenho em pontuação e tempo dos exercícios, com significância estatística (p<0,001). A pontuação apresentou variação de melhora de 294.1 a 823%. Análise univariada e multivariada identificaram que alunos do segundo ano obtiveram um maior ganho de desempenho com o treinamento. Conclusões Estudantes de Medicina nunca expostos à técnicas cirúrgicas adquirem habilidades laparoscópicas básicas em treinamento sistematizado em simuladores. Alunos do segundo ano apresentaram melhor desempenho em relação a alunos do primeiro ano. .